Mạng neuron nhân tạo Hàm_softmax

Các hàm softmax thường được sử dụng trong lớp cuối cùng của thuật toán phân loại sử dụng mạng neuron. Như mạng thường được sử dụng trong phạm vi log-loss (hoặc cross-entropy), đưa ra một biến thể phi tuyến của hồi quy logistic đa biến.

Bằng các hàm ánh xạ một véc tơ và chỉ số 'i' của phần tử trong véc tơ, giá trị đạo hàm cần sử dụng chỉ số để tính toán:

∂ ∂ q k σ ( q , i ) = ⋯ = σ ( q , i ) ( δ i k − σ ( q , k ) ) {\displaystyle {\displaystyle {\frac {\partial }{\partial q_{k}}}\sigma ({\textbf {q}},i)=\cdots =\sigma ({\textbf {q}},i)(\delta _{ik}-\sigma ({\textbf {q}},k))}}

Ở đây, sử dụng Kronecker delta làm cho biểu thức được đơn giản. (xem. đạo hàm của hàm sigmoid, được thể hiện thông qua chính hàm số đó).

Xem đa thức logit cho mô hình xác suất, sử dụng hàm softmax làm hàm kích hoạt.